How Much Can We Trust LLM Search Agents? Measuring Endorsement Vulnerability to Web Content Manipulation
LLM搜索代理对抗Web内容操纵的背书脆弱性评估
🧭 LLM搜索代理安全评估
Center of Excellence for Generative AI, KAUST · Jilin University · Zhejiang University · The Swiss AI Lab, IDSIA-USI/SUPSI · NNAISENSE
提出SearchGEO框架，系统评估13种LLM搜索代理被恶意网页内容操纵后给出错误推荐的攻击成功率
📌 工作参考价值（4 点）
- 在电商/推荐系统中部署搜索型LLM Agent时，需引入类似SearchGEO的对抗性评估流程，测试不同模型后端对网页证据操纵的脆弱性，避免因恶意SEO内容导致错误推荐。
- 攻击成功率在不同模型家族差异显著（如Claude几乎免疫，Gemini高达31.4%），选型时必须将对抗鲁棒性作为核心指标，而非仅考虑基准性能。
- 高风险场景（如自动执行安装命令）应设计额外的安全护栏：观察到Claude过度拒绝而GPT过度信任，可根据业务容忍度选择模型或设置强制拦截规则。
- 同一部署脚手架在不同后端上可能放大或消减ASR，提示工程实现需针对具体模型调优，简单复用可能引入漏洞。